QO-Bench: Diagnosing Query-Operator-Preserving Retrieval over Typed Event Tuples
QO-Bench：诊断类型化事件元组检索中的查询操作符保持
🧭 检索增强生成 · 操作符保持诊断基准
Asian Institute of Digital Finance, National University of Singapore
提出QO-Bench基准，揭示现有RAG系统因丢失类型化值而无法正确执行数据库风格查询操作，核心瓶颈在操作符执行而非检索
📌 工作参考价值（4 点）
- 在电商RAG/Agent中处理“同时满足A和B的商品”等结构化查询时，应向显式抽取-执行管道（IE-to-SQL）倾斜，避免端到端LLM直接输出答案，以可靠支持join、intersection等操作符。
- 检索评估不能只看语义相关性，需验证答案是否精确命中所要求的全部实体；可借鉴QO-Bench的精确匹配与召回设计，构建离线算子级诊断，尤其对计数、交集场景更有必要。
- 即使将相关段落全部提供给长上下文模型，操作符执行准确率仍远未饱和，说明不能高估LLM推理能力；复杂结构化操作应卸载到确定性执行引擎，Agent工作流中可将LLM作为抽取器而非执行器。
- 对于实时性要求高的推荐或搜索场景，索引时预先抽取、存储类型化元组（如事件属性、数值），查询时直接执行算子，可大幅降低在线推理延迟并避免信息丢弃。